Сломаю тренд дня - вместо перепоста новости про gpt-4 поделюсь более приземленным лонгридом про новую русскоязычную генеративку с 1.7 млрд параметров ( Read more... )

Пока серьезные люди делают всякие серьезные штуки, которые нас вскоре обезработят, я продолжаю ковырять генеративные стихи, чтобы было кому развлекать нас, уже безработных и возвышенных аки древние греки. С начала года получилось поулучшать там некоторые вещи, о которых не могу не рассказать. Да тут еще день поэзии 21 марта - отличный стимул ( Read more... )

Всякий уважающий себя человек обязательно должен высказать своё шибко умное мнение по повод ChatGPT. Не буду исключением :) Но совмещу это с более полезной инфой, а не просто "вау, как это круто".

Вот пара скринов из моих экспериментов.

На первом видно, что базовые задачи со здравым смыслом и арифметику генеративка решать может:
( Read more... )

1) Датасет inkoziev/arithmetic переработан, теперь там много диалогов вокруг арифметики такого вида:
( Методика и результаты... )

Как я и планировал, продолжаю толкать темку с reinforcement learning from human feedback в стихах и диалогах. После месяца экспериментов, в основном неудачных, наметились некоторые положительные подвижки, про которые я сейчас и хочу рассказать.

Итак, я делаю эксперименты в своеобразной песочнице - на задаче перефразировки. Для нее у меня есть и ( Read more... )

В репозитории vector2text я выложил код эксперимента с управлением авторегрессионной генерацией русского текста в декодерной модели. Код самодостаточен, то есть из внешних зависимостей там только torch, transformers и sentence-transformers. Также отмечу, что предлагаемый подход не требует модификации внутренностей классов transformers.GPT2Model. ( Read more... )

Для проекта генеративной поэзии я сделал и выложил на huggingface вспомогательный инструмент - перефразировщик коротких текстов, преимущественно одиночных предложений небольшой длины. В качестве основы взят датасет для детектора перефразировок в чатботе. В него добавлена на данный момент примерно тысяча перефразировок строчек стихов. Публичная ( Read more... )

Я начал длительный эксперимент с подбором оптимальных параметров генеративки для чатбота с таким сеттингом:

1. Базовая модель - sberbank-ai/rugpt3medium_based_on_gpt2

2. Она фантюнится на датасете, в котором около 100000 грязных и чистых диалогов, плюс 80000 сэмплов с арифметическими задачами, плюс ~100000 QA пар. Параметры файнтюна тоже надо ( Read more... )

Я пересобрал генератор "хайку" и обычных стихов, выложил образы в докер-хабе:

генератор хайку - модель пересобрана с последними расширениями датасетов, использование typical decoding вместо nucleus sampling и куча других мелочей.

генератор стихов - новая базовая модель силлабо-тонической GPT с 355 млн параметров, файнтюн на новом датасете, ( Read more... )

Народ в чатах обсуждает сервис https://https://beta.character.ai/. Я тоже решил попробовать.

Суть кратко - создаешь персонажа, в минимальном варианте задавая ему имя и некий текст приветствия. Далее начинается диалог, в котором генеративка под капотом отвечает на реплики, основываясь на имени и приветствии персонажа. Вроде еще можно описывать фью- ( Read more... )